Data Science for Business

class: title-slide

# ER014 - Data Science & Strategy for Business

## PVA2

### Teil 2: Deskriptive Regressionsanalyse

<br>
<br>
<br>
<br>
<br>
<br>
<br>
### FS 2024
<br>
### Prof. Dr. Jörg Schoder
.mycontacts[
<svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M165.9 397.4c0 2-2.3 3.6-5.2 3.6-3.3.3-5.6-1.3-5.6-3.6 0-2 2.3-3.6 5.2-3.6 3-.3 5.6 1.3 5.6 3.6zm-31.1-4.5c-.7 2 1.3 4.3 4.3 4.9 2.6 1 5.6 0 6.2-2s-1.3-4.3-4.3-5.2c-2.6-.7-5.5.3-6.2 2.3zm44.2-1.7c-2.9.7-4.9 2.6-4.6 4.9.3 2 2.9 3.3 5.9 2.6 2.9-.7 4.9-2.6 4.6-4.6-.3-1.9-3-3.2-5.9-2.9zM244.8 8C106.1 8 0 113.3 0 252c0 110.9 69.8 205.8 169.5 239.2 12.8 2.3 17.3-5.6 17.3-12.1 0-6.2-.3-40.4-.3-61.4 0 0-70 15-84.7-29.8 0 0-11.4-29.1-27.8-36.6 0 0-22.9-15.7 1.6-15.4 0 0 24.9 2 38.6 25.8 21.9 38.6 58.6 27.5 72.9 20.9 2.3-16 8.8-27.1 16-33.7-55.9-6.2-112.3-14.3-112.3-110.5 0-27.5 7.6-41.3 23.6-58.9-2.6-6.5-11.1-33.3 2.6-67.9 20.9-6.5 69 27 69 27 20-5.6 41.5-8.5 62.8-8.5s42.8 2.9 62.8 8.5c0 0 48.1-33.6 69-27 13.7 34.7 5.2 61.4 2.6 67.9 16 17.7 25.8 31.5 25.8 58.9 0 96.5-58.9 104.2-114.8 110.5 9.2 7.9 17 22.9 17 46.4 0 33.7-.3 75.4-.3 83.6 0 6.5 4.6 14.4 17.3 12.1C428.2 457.8 496 362.9 496 252 496 113.3 383.5 8 244.8 8zM97.2 352.9c-1.3 1-1 3.3.7 5.2 1.6 1.6 3.9 2.3 5.2 1 1.3-1 1-3.3-.7-5.2-1.6-1.6-3.9-2.3-5.2-1zm-10.8-8.1c-.7 1.3.3 2.9 2.3 3.9 1.6 1 3.6.7 4.3-.7.7-1.3-.3-2.9-2.3-3.9-2-.6-3.6-.3-4.3.7zm32.4 35.6c-1.6 1.3-1 4.3 1.3 6.2 2.3 2.3 5.2 2.6 6.5 1 1.3-1.3.7-4.3-1.3-6.2-2.2-2.3-5.2-2.6-6.5-1zm-11.4-14.7c-1.6 1-1.6 3.6 0 5.9 1.6 2.3 4.3 3.3 5.6 2.3 1.6-1.3 1.6-3.9 0-6.2-1.4-2.3-4-3.3-5.6-2z"/></svg> @FFHS-EconomicResearch
<svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M416 32H31.9C14.3 32 0 46.5 0 64.3v383.4C0 465.5 14.3 480 31.9 480H416c17.6 0 32-14.5 32-32.3V64.3c0-17.8-14.4-32.3-32-32.3zM135.4 416H69V202.2h66.5V416zm-33.2-243c-21.3 0-38.5-17.3-38.5-38.5S80.9 96 102.2 96c21.2 0 38.5 17.3 38.5 38.5 0 21.3-17.2 38.5-38.5 38.5zm282.1 243h-66.4V312c0-24.8-.5-56.7-34.5-56.7-34.6 0-39.9 27-39.9 54.9V416h-66.4V202.2h63.7v29.2h.9c8.9-16.8 30.6-34.5 62.9-34.5 67.2 0 79.7 44.3 79.7 101.9V416z"/></svg> @jfschoder
]

---
layout: true

<div style="position: absolute;left:400px;bottom:10px;font-size:9px"><svg aria-hidden="true" role="img" viewBox="0 0 496 512" style="height:1em;width:0.97em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M245.83 214.87l-33.22 17.28c-9.43-19.58-25.24-19.93-27.46-19.93-22.13 0-33.22 14.61-33.22 43.84 0 23.57 9.21 43.84 33.22 43.84 14.47 0 24.65-7.09 30.57-21.26l30.55 15.5c-6.17 11.51-25.69 38.98-65.1 38.98-22.6 0-73.96-10.32-73.96-77.05 0-58.69 43-77.06 72.63-77.06 30.72-.01 52.7 11.95 65.99 35.86zm143.05 0l-32.78 17.28c-9.5-19.77-25.72-19.93-27.9-19.93-22.14 0-33.22 14.61-33.22 43.84 0 23.55 9.23 43.84 33.22 43.84 14.45 0 24.65-7.09 30.54-21.26l31 15.5c-2.1 3.75-21.39 38.98-65.09 38.98-22.69 0-73.96-9.87-73.96-77.05 0-58.67 42.97-77.06 72.63-77.06 30.71-.01 52.58 11.95 65.56 35.86zM247.56 8.05C104.74 8.05 0 123.11 0 256.05c0 138.49 113.6 248 247.56 248 129.93 0 248.44-100.87 248.44-248 0-137.87-106.62-248-248.44-248zm.87 450.81c-112.54 0-203.7-93.04-203.7-202.81 0-105.42 85.43-203.27 203.72-203.27 112.53 0 202.82 89.46 202.82 203.26-.01 121.69-99.68 202.82-202.84 202.82z"/></svg>Prof. Dr. Jörg Schoder</div>

---
name: agenda
class: left

.blockquote[Agenda]

## Empirische Regressionsanalyse

* Deskriptive und explorative Datenanalyse

* Methode der Kleinsten Quadrate (KQ-Methode)

* Goodness of Fit

---
class: left

.blockquote[Deskriptive und explorative Datenanalyse]

## Explorative Datenanalyse und Erkennung von Mustern

???

* Ein Tool, um im wahrsten Sinne des Wortes ein Bild von den Daten zu bekommen ist die EDA

* Erlaubt uns bspw. schnell, lineare und nicht-lineare Zusammenhänge als Muster zu erkennen

* Deshalbt sollte jde Regressionsanalyse mit einer EDA beginnen

---
class: left

.blockquote[Deskriptive und explorative Datenanalyse]

## Wahrnehmung und Kausalität

.panelset[
.panel[.panel-name[Grauton A vs. B]
<iframe src="https://persci.mit.edu/gallery/checkershadow" width="100%" height="420px" data-external="1"></iframe>
]
.panel[.panel-name[Beweis]
<img src="data:image/png;base64,#https://persci.mit.edu/wp-content/uploads/checkershadow_double_med-1024x398.jpg" width="100%" style="display: block; margin: auto;" />
]
]

???

[Stocker, Kap 10](https://www.uibk.ac.at/econometrics/einf/kap10.pdf)

* Aber: Mustererkennung bedeutet nicht, dass es auch kausale Zusammenhänge sind!

* Charts legen Zusammenhang nahe, der vielleiht in Wahrheit gar nicht existiert.

* Wahrnehmung kann täuschen. Kant: Kausalität als a priori gegebene Kategorie bildet, die notwendig ist um Erfahrung überhaupt erst machen zu können. 
  * Kausalität existiert demnach nicht unabhängig von unserer Wahrnehmung, sondern wird gewissermaßen "in die Realität hineinprojeziert" und ist in diesem Sinne eine Vorbedingung fur unsere Wahrnehmung.
  * In dieser Hinsicht war Kant noch radikaler als Hume, für ihn gehört Kausalität
gewissermaßen zur inneren Struktur der Erkenntnis

* Diese Ideen wurden später von verschiedenen Richtungen des Konstruktivismus aufgegriffen, die davon ausgehen, dass die empfundene Realität von den Individuen
selbst durch den Vorgang des Erkennens konstruiert wird

* Beispiel: Unser Gehirn analysiert das Schachbrett scheinbar ohne unser aktives Zutun
  * und schließt aus der Anordnung und der unscharfen Kontur, dass B im Schatten
liegt, also dunkler sein sollte. 
  * Um diesen Effekt zu korrigieren und die Kontrast auszugleichen "rechnet" unser Gehirn diesen Effekt heraus, weshalb uns B heller als A erscheint

---
class: left

.blockquote[Deskriptive und explorative Datenanalyse]

## Elemente explorativer Datenanalyse

* Hervorhebung der inhaltlichen Bedeutung der Daten. Es geht primär um ein substanzielles
Verständnis von Variablen und deren möglichen Zusammenhängen

* Betonung der grafischen Darstellung und Inspektion von Variablen bzw. Datenmengen

* Schwerpunkt liegt auf der versuchsweisen Modellbildung und Hypothesengenerierung
in einem iterativen Prozess der Modellspezifikation und Modellneuspezifikation

* Ausgangspunkte sind Skepsis, Flexibilität und Sparsamkeit bezüglich der anzuwendenden statistischen Methoden

???

<a name=cite-stoetzer_regressionsanalyse_2020></a>[Stoetzer (2020b)](#bib-stoetzer_regressionsanalyse_2020), S. 3

---
class: left

.blockquote[Deskriptive und explorative Datenanalyse]

## Explorative Datenanalyse mit einer Zeile R-Code

.pull-left[

```r
# Import data -----
my_in_file <- "autos_(StockerUIBK)_20240414.csv"
tbl_autos <- read_csv2(xfun::from_root("data","raw",my_in_file))
# GGally-Matrixplot -----
library(GGally)
tbl_autos %>% ggpairs() +
                  theme_light()
```

]
.pull-right[
![](data:image/png;base64,#02_DescriptiveRegression_files/figure-html/EDA-Autos-1.png)
]

---
class: inverse, center, middle

## Methode der kleinsten Quadrate

.blockquote[Bivariate Regression]

.blockquote[Multivariate Regression]

---
class: left

.blockquote[Bivariater Fall]

## Grundidee: Zusammenhänge mit Funktionen beschreiben

* Einfachster Fall: 1 Regressand `$Y$`, 1 Regressor `$X$` (bivariater Fall)

--
* "Regression von Y auf X": (y-x-Regression `$\hat{y}=f(x)$`)

--
* `$f(x)$`?

--
  * Linear: `$y=b_1+b_2x$`
      * `$b_1$`: Interzept/Konstante
      * `$b_2$`: Steigungskoeffizient

--
  * Parabel: `$y=b_1+b_2x+b_3x^2$`

--
  * Potenzfunktion: `$y=b_1x^{b_2}$`

--
  * Exponentialfunktion: `$y=b_1b_2^x$`

--
  * logistische Funktion: `$y=\frac{k}{1+e^{b_1+b_2x}},~b_2<0.$`

--
  * ...

???

* Im Folgenden sei `$X$` der Regressor (unabhängige Variable) und `$Y$` der Regressand (abhängige Variable) bzw. "Regression von Y auf X": (y-x-Regression `$\hat{y}=f(x)$`).

* Umgekehrt `$\hat{x}=h(y)$` als Regression von X auf Y (x-y-Regression).

* wir schauen uns den einfachsten Fall an, eine lineare Gleichung, die hat nur 2 Koeffizienten...

---
class: left

.blockquote[Bivariate Regression]

## Lineare Regressionsgleichung und Residuen

`$$\begin{aligned}[t]
	y_i&=\underbrace{b_1+b_2x_i}_{\mbox{systematische Komponente}}+\underbrace{e_i}_{\mbox{unsystematische Komponente}}\\
	&=\underbrace{\hat{y}}_{\mbox{Regressionsfunktion}}+\underbrace{e_i}_{\mbox{Residuum}}
\end{aligned}$$`

.blockquote[
<svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M0 80V229.5c0 17 6.7 33.3 18.7 45.3l176 176c25 25 65.5 25 90.5 0L418.7 317.3c25-25 25-65.5 0-90.5l-176-176c-12-12-28.3-18.7-45.3-18.7H48C21.5 32 0 53.5 0 80zm112 32a32 32 0 1 1 0 64 32 32 0 1 1 0-64z"/></svg>	Die Differenzen zwischen den beobachteten Werten `$y_i$` des metrisch messbaren Merkmals Y und den mittels Regressionsfunktion vorhergesagten Werten `$\hat{y_i}$` heißen **Residuen** (von Residualgröße, engl. residuals) `$e_i$`. Für das Residuum der Beobachtung `$i$` gilt: `$e_i = y_i - \hat{y}_i ~\mbox{für}~i = 1,\dots, n$`.
]

???

* `$\hat{y}$` (lies: "y Dach"):
  * **Regressionsfunktion** `$(\hat{y}=b_1+b_2x_i)$` bildet nicht die tatsächlichen Wertepaare ($x_i,y_i$) ab,...
  * ... *sondern ordnet jedem beobachteten* x-Wert einen *"durchschnittlichen" y-Wert ($\hat{y}$)} zu
  * wobei `$\hat{y}$` *auf der Regressionsfunktion* liegt.

---
class: left

.blockquote[Bivariate Regression]

## Methode der kleinsten Quadrate

* Idee: 
  * Wähle die Gerade, die soviel wie möglich von Streuung der beobachteten `$y$`-Werte "erklärt"
  * Minimiere den Anteil der unsystematischen Komponente `$(e)$` in der Regressionsgleichung `$\hat{y}$`

* Methode der kleinsten Quadrate (Ordinary Least Squares, OLS):
		
`$$\begin{equation}
\min_{b_1,b_2}\sum_{i=1}^ne_i^2=\sum_{i=1}^n(y_i-\hat{y})^2=\sum_{i=1}^n(y_i-b_1-b_2x_i)^2
\end{equation}$$`

---
class: left

.blockquote[Bivariate Regression]

## Regressionsgerade grafisch ermitteln

???

Obs! Die Regressionsgerade ist diejenige Gerade, welche die Summe der quadrierten Vorhersagefehler (Residuen) minimiert.

---
class: left

.blockquote[Bivariate Regression]

## Regressionsgerade analytisch ermitteln

* Bedingungen erster Ordnung:

`$$\begin{equation} 
\frac{\partial\sum_ie_i^2}{\partial b_1}=-2\sum_i(y_i-b_1-b_2x_i)=-2\sum_i e_i\stackrel{!}{=}0~~~~~~
(1)
\end{equation}$$`

`$$\begin{equation} 
\frac{\partial\sum_ie_i^2}{\partial b_2}=-2\sum_i(y_i-b_1-b_2x_i)x_i=-2\sum_i x_ie_i\stackrel{!}{=}0~~~~~~
(2)
\end{equation}$$`

---
class: left

.blockquote[Bivariate Regression]

## Regressionsgerade analytisch ermitteln (cont'd)

* Umstellung von Gleichung (1) liefert *Bestimmungsgleichung für* `$b_1$`:

`$$\begin{equation}
\sum y_i=n b_1+b_2\sum x_i\implies b_1=\bar{y}-b_2\bar{x}~~~~~~
(3)
\end{equation}$$`

* Einsetzen von (3) ind (2) liefert *Bestimmungsgleichung für* `$b_2$`:

`$$\begin{equation*}
b_2=\frac{\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\sum_i(x_i-\bar{x})^2} \iff 	b_2=\frac{\frac{1}{n}\sum_i(x_i-\bar{x})(y_i-\bar{y})}{\frac{1}{n}\sum_i(x_i-\bar{x})^2}
\end{equation*}$$`

* Damit:

`$$\begin{equation}
b_2=\frac{s_{y,x}}{s^2_x}
\end{equation}$$`

---
class: left

.blockquote[Multivariate Regression]

## Zwei Regressoren

---
class: left

.blockquote[Multivariate Regression]

## Mehr als zwei  Regressoren

* Von der Geradengleichung zur Linearkombination:

`$$y_i=b_{i1}x_{i1}+b_{i2}x_{i2}+b_{i3}x_{i3}+\dots+b_{ik}x_{ik}+e_i$$`

* Matrizendarstellung:

`$$\begin{pmatrix}
y_1 \\
y_2 \\
\vdots \\
y_i 
\end{pmatrix}
=
\begin{pmatrix}
x_{1,1} & x_{1,2} & \cdots & x_{1,k} \\
x_{2,1} & x_{2,2} & \cdots & x_{2,k} \\
\vdots  & \vdots  & \ddots & \vdots  \\
x_{i,1} & x_{i,2} & \cdots & x_{i,k} 
\end{pmatrix}\cdot
\begin{pmatrix}
b_1 \\
b_2 \\
\vdots \\
b_k
\end{pmatrix}
+
\begin{pmatrix}
e_1 \\
e_2 \\
\vdots \\
e_i
\end{pmatrix}$$`

* Kompakte Matrizen-Schreibweise:

`$$\textbf{y}=\textbf{X}\cdot b+e$$`

---
class: left

.blockquote[Multivariate Regression]

## Optimierungsproblem

* Analog zur linearen Einfachregression sollen die quadrierten Residuen minimiert werden:

`$$\begin{eqnarray}\min_\beta(e'e)&=&\min_\beta(y-X\beta)'(y-X\beta)\\
&=&\min_\beta[y'y-2\beta'X'y+\beta'X'X\beta]\,
\end{eqnarray}$$`

* Bedingung erster Ordnung (FOC):

`$$\frac{\partial(e'e)}{\partial b}=-2X'y+2X'X b\stackrel{!}{=}0$$`

* Damit folgt für die Koeffizienten:

`$$b=(X'X)^{-1}X'y$$`

---
class: inverse, center, middle

## Lineare Einfachregression

.blockquote[Bedingte Mittelwerte]

.blockquote[Bestimmtheitsmaß]

.blockquote[Ein kategorialer Regressor]

---
class: left

.blockquote[Bedingte Mittelwerte]

## Beispiel Autodaten: Kennzahlen

* Arithmetischer Mittelwert und Median:

```r
tbl_autos %>% 
      summarise(d_alter=mean(Alter),
                d_preis=mean(Preis),
                med_alter=median(Alter),
                med_preis=median(Preis))
```

```
## # A tibble: 1 × 4
##   d_alter d_preis med_alter med_preis
##     <dbl>   <dbl>     <dbl>     <dbl>
## 1    2.47   16542      2.28     17050
```

* Korrelationskoeffizient:

```r
tbl_autos %>% 
  summarise(correlation = cor(Alter, Preis))
```

```
## # A tibble: 1 × 1
##   correlation
##         <dbl>
## 1      -0.932
```

???

```r
library(skimr)
tbl_autos %>% 
  select(Alter, Preis) %>% skim()
```

Table: Data summary

|                         |           |
|:------------------------|:----------|
|Name                     |Piped data |
|Number of rows           |40         |
|Number of columns        |2          |
|_______________________  |           |
|Column type frequency:   |           |
|numeric                  |2          |
|________________________ |           |
|Group variables          |None       |

**Variable type: numeric**

|skim_variable | n_missing| complete_rate|     mean|      sd|      p0|      p25|      p50|     p75|     p100|hist  |
|:-------------|---------:|-------------:|--------:|-------:|-------:|--------:|--------:|-------:|--------:|:-----|
|Alter         |         0|             1|     2.47|    1.35|    0.17|     1.55|     2.28|     3.3|     5.49|▅▇▆▅▂ |
|Preis         |         0|             1| 16542.00| 3822.29| 6700.00| 14417.50| 17050.00| 18890.0| 24000.00|▂▂▆▇▂ |

---
class: left

.blockquote[Bedingte Mittelwerte]

## Beispiel Autodaten: Regressionsgerade

.pull-left[

```r
tbl_autos %>% 
          ggplot(aes(x=Alter,y=Preis)) + 
              geom_point() + theme_light() + 
              geom_smooth(method = "lm", se = FALSE) +
              scale_x_continuous(limits=c(0,6),breaks=seq(0, 5, 1)) +
              scale_y_continuous(limits=c(0,26000),breaks=seq(0, 25000, 5000)) + 
              labs(x="Alter (in Jahren)",y="Preis",title="Gebrauchtwagen")
```

```
## `geom_smooth()` using formula = 'y ~ x'
```
]
.pull-right[
![](data:image/png;base64,#02_DescriptiveRegression_files/figure-html/Reg-Autos-1.png)
]

---
class: left

.blockquote[Bedingte Mittelwerte]

## Beispiel Autodaten: Koeffizienten ermitteln

.pull-left[

```r
model <- tbl_autos %>% 
                lm(Preis~Alter,.)
library(broom)
tidy(model) %>% 
  select(term,estimate)
```

```
## # A tibble: 2 × 2
##   term        estimate
##   <chr>          <dbl>
## 1 (Intercept)   23057.
## 2 Alter         -2636.
```
]
.pull-right[

```r
library(moderndive)
get_regression_table(model)
```

```
## # A tibble: 2 × 7
##   term      estimate std_error statistic p_value lower_ci upper_ci
##   <chr>        <dbl>     <dbl>     <dbl>   <dbl>    <dbl>    <dbl>
## 1 intercept   23057.      469.      49.2       0   22108.   24006.
## 2 Alter       -2636.      167.     -15.8       0   -2974.   -2298.
```
]

---
class: left

.blockquote[Bedingte Mittelwerte]

## Beispiel Autodaten: Koeffizienten interpretieren

* Regressionsgerade

`$$\begin{eqnarray}\hat{y_i}&=&b_1+b_2\cdot x_i\\
\widehat{\mbox{Preis_i}}&=&b_1 + b_2\cdot \mbox{Alter}\\
&=&23056-2635\cdot Alter_i\\
\end{eqnarray}$$`

* Interpretation Intercept `$(b_1)$`: Durchschnittspreis für neues Autos

```r
dp0 <- tbl_autos %>% filter(Alter<.5) %>% 
          summarise(d_preis_neuwagen=mean(Preis))
dp0
```

```
## # A tibble: 1 × 1
##   d_preis_neuwagen
##              <dbl>
## 1           23567.
```

---
class: left

.blockquote[Bedingte Mittelwerte]

## Beispiel Autodaten: Steigungskoeffizient interpretieren

* Interpretation Steigung `$(b_2)$`: Mit jedem zusätzlichen Jahr verringert sich der Wert des Fahrzeugs **im Durchschnitt** um -2635.67 Geldeinheiten.

* Ermittlung des **Durchschnittspreis** eines 2-jährigen Autos mittels Modell:

```r
dp2 <- pull(dp0)+tidy(model)$estimate[2]*2
dp2
```

```
## [1] 18295.33
```

* Vergleich mit den Daten

```r
tbl_autos %>% filter(Alter>=.5&Alter<2.5) %>% 
          summarise(d_preis_neuwagen=mean(Preis)) %>% pull()
```

```
## [1] 18326.84
```

???
[Stocker](https://www.uibk.ac.at/econometrics/einf/kap02_ols.pdf), S. 24

Intuitiv können wir uns also

* die gefitteten Werte `$y_b$` (auf der Regressionsgeraden) als lineare Approximation an die bedingten Mittelwerte vorstellen.

* Wir werden diese Interpretation später weiter vertiefen, wenn wir Dummy Variablen diskutieren.

* Hier dient sie v.a. als *Vorbereitung auf die stochastische Regressionsanalyse*, in deren Rahmen wir die `$y_b$` ganz ähnlich als **lineare Approximation an die bedingten
Erwartungswerte** interpretieren werden.

---
class: left

.blockquote[Bestimmtheitsmaß]

## Varianzzerlegung

.quelle[Bildquelle: [<a name=cite-stocker_grundlagen_nodate></a>[Stocker ()](#bib-stocker_grundlagen_nodate), S. 33.](https://www.uibk.ac.at/econometrics/einf/kap02_ols.pdf)]

---
class: left

.blockquote[Bestimmtheitsmaß]

## Erklärte vs. nicht erklärte Streuung

* Abweichung einer einzelnen Beobachtung vom Mittelwert `$\bar{y}$`:

`$$\begin{equation}
  y_i-\bar{y}=(\hat{y}_i-\bar{y})+(y_i-\hat{y}_i)~~~~~~(1)
\end{equation}$$`

* Ermittlung der **Gesamtstreuung** von `$y$` um den Mittelwert `$\bar{y}$` durch quadrieren von Gleichung (1) und aufsummieren über alle Beobachtungen sowie diverse Umformungen:

`$$\begin{equation*}
\sum_i(y_i-\bar{y})^2=\sum_i(\hat{y}_i-\bar{y})^2+\sum_i(y_i-\hat{y})^2
\end{equation*}$$`
bzw.
`$$\begin{equation*}
	\underbrace{\sum_i(y_i-\bar{y})^2}_{\mbox{TSS}}=\underbrace{\sum_i(\hat{y}_i-\bar{y})^2}_{\mbox{ESS}}+\underbrace{\sum_i e_i^2}_{\mbox{SSR}}
\end{equation*}$$`

---
class: left

.blockquote[Bestimmtheitsmaß]

## Bestimmtheitsmaß und Wertebereich

.blockquote[
<svg aria-hidden="true" role="img" viewBox="0 0 448 512" style="height:1em;width:0.88em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M0 80V229.5c0 17 6.7 33.3 18.7 45.3l176 176c25 25 65.5 25 90.5 0L418.7 317.3c25-25 25-65.5 0-90.5l-176-176c-12-12-28.3-18.7-45.3-18.7H48C21.5 32 0 53.5 0 80zm112 32a32 32 0 1 1 0 64 32 32 0 1 1 0-64z"/></svg> Das Bestimmtheitsmaß `$R^2$` (engl. R squared) ist definiert als Anteil der durch die Regressionsgerade erklärten Streuung (ESS) an der gesamten Streuung (TSS):

`$$\begin{equation*}
	R^2 =\frac{\mbox{ESS}}{\mbox{TSS}}=\frac{\mbox{TSS}-\mbox{SSR}}{TSS}=1-\frac{\mbox{SSR}}{TSS}=1-\frac{\sum_i e_i^2}{\sum_i(y_i-\bar{y})^2}
\end{equation*}$$`

]

???

* Die Gesamtstreuung ("Total Sum Squared", TSS) ergibt sich als Summe aus erklärter Streuung ("Explained Sum Squared", ESS) und nicht erklärter Streuung ("Sum of Squared Residuals", SSR).
* Obs! Für Regressionsgleichungen mit Interzept gilt: `$0\leq R^2\leq 1$`.

---
class: left

.blockquote[Bestimmtheitsmaß]

## Bestimmtheitsmaß in R: Residuen ermitteln

```r
regression_points <- get_regression_points(model)
regression_points %>% 
  head(10)
```

```
## # A tibble: 10 × 5
##       ID Preis Alter Preis_hat residual
##    <int> <dbl> <dbl>     <dbl>    <dbl>
##  1     1 10000  3.78    13094.   -3094.
##  2     2 21850  1.61    18813.    3037.
##  3     3 14500  2.28    17047.   -2547.
##  4     4 11100  5.33     9009.    2091.
##  5     5  6700  5.49     8587.   -1887.
##  6     6 24000  0.34    22161.    1839.
##  7     7 10000  4.31    11697.   -1697.
##  8     8 16900  1.69    18602.   -1702.
##  9     9 18000  2.53    16388.    1612.
## 10    10 15300  3.55    13700.    1600.
```

---
class: left

.blockquote[Bestimmtheitsmaß]

## Bestimmtheitsmaß in R:

* "Händisch"

```r
SSQ <- regression_points  %>% 
          summarise(TSS=sum((Preis-mean(Preis))^2),
                    SSR=sum(residual^2))
1-SSQ$SSR/SSQ$TSS
```

```
## [1] 0.8677253
```

* moderndive `get_regression_summaries()`

```r
get_regression_summaries(model)
```

```
## # A tibble: 1 × 9
##   r_squared adj_r_squared      mse  rmse sigma statistic p_value    df  nobs
##       <dbl>         <dbl>    <dbl> <dbl> <dbl>     <dbl>   <dbl> <dbl> <dbl>
## 1     0.868         0.864 1884209. 1373. 1408.      249.       0     1    40
```

---
class: left

.blockquote[Ein kategorialer Regressor]

## Beispiel Lebenserwartung und Geografie

```
## Rows: 142
## Columns: 4
## $ country   <fct> "Afghanistan", "Albania", "Algeria", "Angola", "Argentina", …
## $ lifeExp   <dbl> 43.828, 76.423, 72.301, 42.731, 75.320, 81.235, 79.829, 75.6…
## $ continent <fct> Asia, Europe, Africa, Africa, Americas, Oceania, Europe, Asi…
## $ gdpPercap <dbl> 974.5803, 5937.0295, 6223.3675, 4797.2313, 12779.3796, 34435…
```

---
class: left

.blockquote[Ein kategorialer Regressor]

## Datenvisualisierung: Histogramme

.panelset[
.panel[.panel-name[Pooled]
<img src="data:image/png;base64,#02_DescriptiveRegression_files/figure-html/unnamed-chunk-21-1.png" width="50%" style="display: block; margin: auto;" />
]

.panel[.panel-name[Kontinente]
<img src="data:image/png;base64,#02_DescriptiveRegression_files/figure-html/unnamed-chunk-22-1.png" width="50%" style="display: block; margin: auto;" />
]
]

---
class: left

.blockquote[Ein kategorialer Regressor]

## Datenvisualisierung: Boxplot

---
class: left

.blockquote[Ein kategorialer Regressor]

## Deskriptive Statistiken

```r
lifeExp_by_continent <- gapminder2007 %>%
                        group_by(continent) %>%
                        summarise(median = median(lifeExp), 
                                  mean = mean(lifeExp))
lifeExp_by_continent
```

```
## # A tibble: 5 × 3
##   continent median  mean
##   <fct>      <dbl> <dbl>
## 1 Africa      52.9  54.8
## 2 Americas    72.9  73.6
## 3 Asia        72.4  70.7
## 4 Europe      78.6  77.6
## 5 Oceania     80.7  80.7
```

---
class: left

.blockquote[Ein kategorialer Regressor]

## Lineare Regression und Interpretation des Interzept-Terms

```r
lifeExp_model <- gapminder2007 %>% 
                      lm(lifeExp ~ continent, data = .)
get_regression_table(lifeExp_model)
```

```
## # A tibble: 5 × 7
##   term                estimate std_error statistic p_value lower_ci upper_ci
##   <chr>                  <dbl>     <dbl>     <dbl>   <dbl>    <dbl>    <dbl>
## 1 intercept               54.8      1.02     53.4        0     52.8     56.8
## 2 continent: Americas     18.8      1.8      10.4        0     15.2     22.4
## 3 continent: Asia         15.9      1.65      9.68       0     12.7     19.2
## 4 continent: Europe       22.8      1.70     13.5        0     19.5     26.2
## 5 continent: Oceania      25.9      5.33      4.86       0     15.4     36.4
```
<svg aria-hidden="true" role="img" viewBox="0 0 512 512" style="height:1em;width:1em;vertical-align:-0.125em;margin-left:auto;margin-right:auto;font-size:inherit;fill:currentColor;overflow:visible;position:relative;"><path d="M464 256A208 208 0 1 0 48 256a208 208 0 1 0 416 0zM0 256a256 256 0 1 1 512 0A256 256 0 1 1 0 256zm169.8-90.7c7.9-22.3 29.1-37.3 52.8-37.3h58.3c34.9 0 63.1 28.3 63.1 63.1c0 22.6-12.1 43.5-31.7 54.8L280 264.4c-.2 13-10.9 23.6-24 23.6c-13.3 0-24-10.7-24-24V250.5c0-8.6 4.6-16.5 12.1-20.8l44.3-25.4c4.7-2.7 7.6-7.7 7.6-13.1c0-8.4-6.8-15.1-15.1-15.1H222.6c-3.4 0-6.4 2.1-7.5 5.3l-.4 1.2c-4.4 12.5-18.2 19-30.6 14.6s-19-18.2-14.6-30.6l.4-1.2zM224 352a32 32 0 1 1 64 0 32 32 0 1 1 -64 0z"/></svg> Interpretation Intercept?

???

* **intercept corresponds** to the mean life expectancy of **countries in Africa** of 54.8 years.

* Warum Afrika als Referenz? You might be asking at this point why was Africa chosen as the “baseline for comparison” group. This is the case for no other reason than it **comes first alphabetically** of the five continents;

* kann entsprechend mit factor-Variable geändert werden!

* **continent: Americas** corresponds to countries in the Americas and the value +18.8 . Vgl. Folie vorher: 54.8+18.8=73.6

* **continent: Asia** corresponds to countries in Asia and the value +15.9. Vgl. Folie vorher: 54.8+15.9=70.7

* **continent: Europe** corresponds to countries in Europe and the value +22.8.  Vgl. Folie vorher: 54.8+22.8=77.6 .

* **continent: Oceania** corresponds to countries in Oceania and the value +25.9 is the same difference in mean life expectancy relative to Africa.  Vgl. Folie vorher: 
54.8+25.9=80.7.

---
class: inverse, center, middle

## Multiple Regression

.blockquote[Ein kategorialer und ein numerischer Regressor]

.blockquote[Zwei numerische Regressoren]

---
class: left

.blockquote[Ein kategorialer und ein numerischer Regressor]

## Beispiel

---
class: inverse,center,middle

# Wir brauchen eine Pause.

---

background-image: url("data:image/png;base64,#http://bit.ly/cs631-donkey")
background-size: 80%

---
class: left

## Quellenverzeichnis

.ref-slide[
<a name=bib-stocker_grundlagen_nodate></a>[Stocker,
H.](#cite-stocker_grundlagen_nodate) "Grundlagen Der Deskriptiven
Regressionsanalyse - OLS Mechanik". Innsbruck.

<a name=bib-stoetzer_regressionsanalyse_2020></a>[Stoetzer,
M.](#cite-stoetzer_regressionsanalyse_2020) (2020b).
_Regressionsanalyse in der empirischen Wirtschafts- und Sozialforschung
Band 2: Komplexe Verfahren_. Berlin, Heidelberg: Springer Berlin
Heidelberg. ISBN: 978-3-662-61437-2. (Visited on Apr. 14, 2024).
]